# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

"""
管道：数据清洗，去重。
持久化：写txt，csv，写入数据库等。
scrapy框架将spider模块和pipelines分离开，使程序更容易扩展。
spider yield生成的item会交给pipelines处理。如果爬取速度跟处理速度不一致的话，scrapy框架会自动调度。
"""

class MoviePipeline(object):
    def process_item(self, item, spider):
        with open('meiju.txt', 'a+', encoding='utf-8') as f:
            f.write(str(item['movie_name']))
            f.write(str(', '))
            f.write(str(item['state']))
            f.write(str(', '))
            f.write(str(item['category']))
            f.write(str(', '))
            f.write(str(item['tv']))
            f.write(str(', '))
            f.write(str(item['time']))
            f.write('\n')
        return item
